 1.元数据管理工具Atlas(扩展)之安装配置
   
   重点讲解Atlas，不对Atlas的依赖组件做讲解，组件均采用单机模式安装。
   编译才能安装。
   
   1).安装依赖
      Maven 3.6.3(完成)
      HBase 1.1.2(不需要安装，需要软件包)
      Solr 5.5.1(不需要安装，需要软件包)
      atlas 1.2.0(需要编译)
	  官方只提供了源码，没有提供二进制的安装版本，因此Atlas需要编译。
   2).安装步骤
   (1).准备软件包
   apache-atlas-1.2.0-sources.tar.gz
   solr-5.5.1.tgz
   hbase-1.1.2.tar.gz
   (2).解压缩源码，修改配置
   # 解压缩
   cd /opt/lagou/software
   tar zxvf apache-atlas-1.2.0-sources.tar.gz
   cd apache-atlas-sources-1.2.0/
   # 修改配置
   vi pom.xml
   # 修改
   645 <npm-for-v2.version>3.10.8</npm-for-v2.version>
   652 <hadoop.version>2.9.2</hadoop.version>
   (3).、将HBase、Solr的包拷贝到对应的目录中
   如果不拷贝这些包，就需要下载，下载 HBase 和 Solr 时速度很慢。这里提前下载完
所需的这两个组件，拷贝到对应目录中。
   cd /opt/lagou/software/apache-atlas-sources-1.2.0
   
   # 创建目录
   cd distro/
   mkdir solr
   mkdir hbase
   # 拷贝软件包
   cp /opt/lagou/software/solr-5.5.1.tgz ./solr/
   cp /opt/lagou/software/hbase-1.1.2.tar.gz ./hbase/
   (4).maven设置阿里镜像
   备注：重要，否则非常慢
   cd $MAVEN_HOME/conf
   # 在配置文件中添加
   vi settings.xml
   # 加在 158 行后
<mirror>
  <id>alimaven</id>
  <name>aliyun maven</name>
  <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
  <mirrorOf>central</mirrorOf>
</mirror>
   (5).Atlas编译
   cd /opt/lagou/software/apache-atlas-sources-1.2.0
   export MAVEN_OPTS="-Xms2g -Xmx2g"
   mvn clean -DskipTests package -Pdist,embedded-hbase-solr
   
   编译过程中大概要下载600M左右的jar，持续的时间比较长。
   编译完的软件位置：/opt/lagou/software/apache-atlas-sources-1.2.0/distro/target
   
   编译完的软件：apache-atlas-1.2.0-bin.tar.gz
   (6).Atlas安装
   cd /opt/lagou/software/apache-atlas-sources-1.2.0/distro/target
   
   # 解压缩
   tar zxvf apache-atlas-1.2.0-bin.tar.gz
   mv apache-atlas-1.2.0/ /opt/lagou/servers/atlas-1.2.0
   
   # 修改 /etc/profile，设置环境变量 ATLAS_HOME
   # 启动服务(第一次启动服务的时间比较长)
   cd $ATLAS_HOME/bin
   ./atlas_start.py
   
   # 检查后台进程 (1个atlas、2个HBase、1个solr后台进程)
   ps -ef | grep atlas
   
   /opt/lagou/servers/atlas-1.2.0/server/webapp/atlas
hbase-daemon.sh
   org.apache.hadoop.hbase.master.HMaster
   /opt/lagou/servers/atlas-1.2.0/solr/server

   # 停止服务
   ./atlas_stop.py
   检查 solr 的状态：
   cd /opt/lagou/servers/atlas-1.2.0/solr/bin
   ./solr status
Solr process 25038 running on port 9838
{
	"solr_home":"/opt/lagou/servers/atlas-
1.2.0/solr/server/solr",
    "version":"5.5.1 c08f17bca0d9cbf516874d13d221ab100e5b7d58 -
anshum - 2016-04-30 13:28:18",
    "startTime":"2020-07-31T11:58:45.638Z",
    "uptime":"0 days, 14 hours, 55 minutes, 11 seconds",
    "memory":"54.8 MB (%11.2) of 490.7 MB",
    "cloud":{
      "ZooKeeper":"localhost:2181",
      "liveNodes":"1",
      "collections":"3"}
}

   检查 zk 状态：
   echo stat|nc localhost 2181
   
   Web服务：http://linux122:21000/login.jsp
   
   用户名 / 口令：admin / admin
   账号的信息存储在文件 conf/users-credentials.properties 中。其中 Password 通过如
下方式产生sha256sum 摘要信息：
   
   echo -n 1 "admin" | sha256sum
 
 2.Hive血缘关系导入
   
   1).配置HIVE_HOME环境变量；将 $ATLAS_HOME/conf/atlasapplication.properties 
拷贝到 $HIVE_HOME/conf 目录下
   ln -s $ATLAS_HOME/conf/atlas-application.properties
$HIVE_HOME/conf/atlas-application.properties
   2).拷贝jar包
   # $ATLAS_HOME/server/webapp/atlas/WEB-INF/lib/ 目录下的3个jar，
   # 拷贝到 $ATLAS_HOME/hook/hive/atlas-hive-plugin-impl/ 目录下
   jackson-jaxrs-base-2.9.9.jar
   jackson-jaxrs-json-provider-2.9.9.jar
   jackson-module-jaxb-annotations-2.9.9.jar
   
   ln -s $ATLAS_HOME/server/webapp/atlas/WEB-INF/lib/jacksonjaxrs-base-2.9.9.jar
 $ATLAS_HOME/hook/hive/atlas-hive-pluginimpl/jackson-jaxrs-base-2.9.9.jar
   
   ln -s $ATLAS_HOME/server/webapp/atlas/WEB-INF/lib/jacksonjaxrs-json-provider-2.9.9.jar
 $ATLAS_HOME/hook/hive/atlashive-plugin-impl/jackson-jaxrs-json-provider-2.9.9.jar
   
   ln -s $ATLAS_HOME/server/webapp/atlas/WEB-INF/lib/jacksonmodule-jaxb-annotations-2.9.9.jar
 $ATLAS_HOME/hook/hive/atlashive-plugin-impl/jackson-module-jaxb-annotations-2.9.9.jar

   3).修改Hive的配置
   hive-site.xml增加 hook

<property>
    <name>hive.exec.post.hooks</name>
    <value>org.apache.atlas.hive.hook.HiveHook</value>
</property>
   
   $HIVE_HOME/conf/hive-env.sh中添加HIVE_AUX_JARS_PATH变量

   export HIVE_AUX_JARS_PATH=/opt/lagou/servers/atlas-1.2.0/hook/hive
   4).批量导入hive数据
   备注：Hive能正常启动；在执行的过程中需要用户名/口令：admin/admin
   import-hive.sh
   成功导出可以看见最后的提示信息：Hive Meta Data imported successfully!!!
   在浏览器中可以看见：Search 中的选项有变化
   Hive hook 可捕获以下操作：
       create database
       create table/view, create table as select
       load, import, export
       DMLs (insert)
       alter database
       alter table
       alter view